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(57) Abstract: The invention concerns a method and 
a system for: (i) producing in a computer processing 
unit (2) a flow of synthetic images (3), and (ii) tracing 
a scene (4) by creating visual interactions between the 
synthetic image flow (3) and at least one video image 
flow (5).The computer processing unit (2) comprises: 
a motherboard (7), a graphics board (8) for scene 
rendering and display (4), including a processor for 
accelerating 2D/3D processing (9), a work buffer (10) 
and a texture memory (11), an acquisition means (12) 
for acquiring in real time video images (13), in a video 
buffer (14). The specific rendering of the scene (4) 
is carried out: by recopying the video buffer (14) in 
a memory zone (10, 11) of the graphics board (8), by 
tracing the synthetic images (16) in the work buffer (10). 

(57) Abrege : La presente invention concerne un 
proc^de et ur systeme permettant : (i) de produire 
dans une unite" de traitement informatique (2) un flux 
d' images de synthese (3), et (ii) de tracer une scene 
(4) en creant des interactions visuelles entre le flux 
d* images de synthese (3) et moins un flux d' images 
video (5). L unite de traitement informatique (2) 
comprend : une carte mere (7), une carte graphique 
(8) de rendu et d'affichage de scene (4), comportant 
un processeur d' acceleration des traitements 2D/3D (9), 
un buffer de travail (10) et une me moire texture (11), 
un moyen d*acquisition (12) permettant d'acquerir, en 
temps reel, des images video (13), dans un buffer viddo 
(14). Le rendu specifique de la scene (4) 
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est effectue : en recopiant le buffer video (14) dans une zone m£moire (10, 11) de la carte graphique (8), en tracant les images de 
synthese (16) dans le buffer de travail (10). 
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PROCEDE ET SYSTEME PEPMETTANT A UN UTILI SATEUR DE MELANGER EN 
TEMPS REEL DES IMAGES DE SYNTHESE AVEC DES IMAGES VIDEO 

Preambule de la description 
Domaine conceme, probleme pose 
La presente invention concerne un procede et un 
systeme permettant a un utilisateur de melanger en temps reel 
des images de synthese avec des images video. 

Probleme pose 

L f invention a plus precisement pour objet un procede 
et un systeme permettant a un utilisateur : 

(i) de produire dans une unite de traitement 
informatique, composee de circuits electroniques standard, un 
flux d' images de synthese, et 

(ii) de tracer une scene en creant des interactions 
visuelles entre le flux d' images de synthese et au moins un flux 
d' images video . 

La solution a ce probleme apportee par 1' invention 
permet d'ameliorer la qualite de la scene et de diminuer le 
temps de traitement, sans mettre en ceuvre des unites de 
traitement informatique proprietaires et couteuses . 

Art anterleur 
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On a represents sur la figure 1 un equipement selon 
l'art anterieur permettant de faire de la realite amelioree. Cet 
equipement comprend : 

- une Station de travail graphique STG, 
5 - un Rack de type « chroma keyer » RCK, 

- un Rack de type « retard d' image » RRI . 

Les legendes C et SV designent respectivement une 
camera et une sortie video. 

La station de travail graphique STG est utilisee pour 
10 la generation des images de synthese uniquement. La station de 
travail graphique STG est developpee specif iquement ou est une 
station Silicon Graphics™. Les images de synthese sont generees 
sur un fond de couleur uniforme (couleur cle) . 

Le Rack de type « chroma keyer » RCK est utilise pour 
15 le mixage de 1' image video de la camera (C) avec 1' image de 
synthese generee par la station graphique STG. La couleur cle 
est remplacee par 1' image video. 

Le Rack de type « retard d' image » RRI est utilise 
pour compenser le temps de traitement du generateur d' images . . 
2 0 Inconvenients de la technologie anterieure : 

Les equipements selon l'art anterieur presentent des 
inconvenients en terme de prix et des qualites d' image et de 
f onctionnalite . 

Inconvenients en terme de prix : 
25 Le prix de revient des equipements selon l'art 

anterieur est tres eleve. En effet, le Rack « retard d' image » 
RRI est un rack professional, le Rack « chroma keyer » RCK est 
un rack professionnel, la station graphique STG est une station 
professionnelle. La solution anterieure selon l'art anterieur 
30 n'est pas embarquable (elle est composee de trois modules 
separes : generateur d' images / retard d' images / chroma key). 

Inconvenients en termes de qualite d' image et de 
fonctionnalites : 

L' interactivity visuelle entre la video et les images 
35 de synthese est limitee. En effet, en sortie du « chroma keyer » 



WO 2004/012445 




T/FR2003/050019 



RCK la video est inseree a la place de la couleur cle. II n'est 
pas possible d' avoir des reflexions de la video sur les images 
de synthese ou le contraire. La video ne peut pas etre traitee 
cornme, une texture. Par exemple, il ne peut pas y avoir d' effet 
5 de reflets entre les images reelles (images video) et les objets 
de synthese. Le principe meme du « chroma key » peut produire 
des artefacts / il limite le choix dans la palette de couleurs 
des images de synthese, et rend problematique le rendu d' objets 
de synthese presentant des transparences . 

10 Les performances des stations graphiques specif iques 

sont vite depassees par les performances des cartes graphiques 
grand public qui sont tou jours plus puissantes (puissance 
graphique du materiel grand public multipliee par deux tous les 
six mois environ) . 

15 La solution anterieure est chere en termes de 

maintenance (les trois appareils qui la composent impliquent. un 
contrat de maintenance specif ique) . 

La solution anterieure ne peut pas fonctionner sur un 
ordinateur portable, elle n'est pas mobile. 

20 La solution anterieure est contraignante en termes de 

temps de reglages de tous ses elements. 

Aucun traitement sur 1' image video n'est possible : 

- on ne peut pas utiliser la video pour texturer 
localement un element de la scene virtuelle, 

25 - on ne peut pas deformer la video (par exemple la 

correction des distorsions optiques est impossible) , 

- on ne peut pas faire de traitement sur la video (par 
exemple pour le traitement du type chroma key) . 

Solution 

3 0 Procede 

L' unite de traitement inf ormatique selon 1' invention, 
notamment de type "ordinateur PC" grand public comprend : 

- une carte mere, 

- une carte graphique de rendu et d'affichage de la 

35 scene. 
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La notion de scene au sens de la presente invention 
est ci-apres explicitee en se referant a la figure 2 

La carte graphique de rendu et d'affichage de la scene 
comporte un processeur d' acceleration des traitements 2D/3D, un 
5 buffer de travail « back buffer » et une memoire de texture. 

L'equipement in forma tique comprend egalement un moyen 
d' acquisition permettant d'acquerir, en temps reel, des images 
video, dans un buffer video. Le moyen d' acquisition se presente 
notamment sous la forme : 
10 * d'une acquisition video integree a la carte 

graphique, et/ ou 

* d'une acquisition video integree a la carte mere, 

et/ou 

* d'une acquisition video, via une carte d' acquisition 
15 dediee (par exemple une carte de marque Pinnacle ™ connue sous 

le nom de PCTV) . 

Le procede selon 1' invention comprend l'etape 
d' effectuer un rendu specif ique de la scene, 

- en recopiant, lors de chaque rendu de la scene, le 
20 buffer video dans une zone memoire de la carte graphique, 

- en tragant les images de synthese dans ledit buffer 
de travail de la carte graphique. 

Selon . une premiere variante de realisation de 
1' invention, pour effectuer un rendu specif ique, de preference, 
25 le procede comprend les e tapes suivantes : 

- l'etape de recopier, lors de chaque rendu de la 
sc^ne, le buffer video dans le buffer de travail, 

- l'etape de tracer les images de synthese dans le 
buffer de travail. 

30 Dans le cas de cette premiere variante de realisation, 

lorsque le buffer video comporte des lignes video entrelacees, 
pour recopier, lors de chaque rendu de la scene, le buffer video 
dans le buffer de travail, de preference le procede comprend : 

- l'etape de recopier les lignes video paires, lors 
35 d'un premier rendu, puis 
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- l'etape de recopier les lignes video impaires, lors 
du rendu suivant. 

Selon une deuxieme variante de realisation de 
1 T invention, pour effectuer un rendu specif ique le procede 
5 comprend, de preference, une etape d' initialisation prealable au 
rendu specifique consistant a creer une texture dediee dans la 
memoire de texture de la carte graphique . La texture dediee a la 
taille du buffer video. La texture est dediee pour recopier le 
buffer video dans la memoire texture. 
10 Dans le cas de cette seconde variante de realisation 

le procede comprend en outre : 

- l'etape de recopier le buffer video dans la texture 

dediee , 

l'etape de tracer completement la scene, en 
15 utilisant la texture dediee pour texturer certains des polygenes 
de la scene. 

Dans le cas de cette seconde variante de realisation, 
lorsque le buffer video comporte des lignes video entrelacees, 
pour recopier lors de chaque rendu de la scene le buffer video 
20 dans la texture dediee, de preference selon 1' invention, le 
procede comprend : 

- l'etape de recopier les lignes video paires, lors 
d'un premier rendu , puis 

- l'etape de recopier les lignes video impaires, lors 
25 du rendu suivant, 

- l'etape d'appliquer une translation du buffer video 
de plus ou moins une demi-ligne dans le rendu de la scene. 

Cette translation du buffer video est realisee : 

- soit en modifiant les coordonnees de texture de la 
30 texture dediee, 

- soit en modifiant les coordonnees des polygones 
textures par la texture dediee. 

On ameliore ainsi la qualite d' image. 

Dans le cas de la premiere variante de realisation 
35 comme dans le cas de la seconde variante de realisation, il est 
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possible de recopier le buffer video dans la zone memoire de la 
carte graphique en procedant de deux manieres differentes. 

Dans le cas d f une premiere fagon de proceder le moyen 
d f acquisition comporte un driver pr^sentant un nouveau buffer 
vid6o pour chaque nouvelle image video. De preference selon 
l 1 invention, dans le cas de cette premiere maniere de proceder, 
le rendu de la scene est effectue de maniere synchrone avec la 
presentation de chaque nouveau buffer video. 

Dans le cas d'une deuxieme fagon de proceder le moyen 
d' acquisition comporte egalement un driver presentant un nouveau 
buffer video pour chaque nouvelle image video. Toutefois, dans 
le cas de cette deuxieme maniere de proceder, de preference 
selon l f invention le procede comprend les etapes suivantes : 

- l'etape de remplir une memoire-' tampon avec chaque 
nouveau buffer video, en mettant en ceuvre une unite d' execution 
(« thread ») de capture video, 

- l'etape de recopier un des buffer video contenu dans 
la m6moire tampon vers la memoire de texture de la carte 
graphique, 

- l'etape d'effectuer le rendu de la scene de maniere 
asynchrone par rapport a la presentation de chaque nouveau 
buffer video. 

Le procede selon 1' invention permet des 
fonctionnalites graphiques ameliorees lors du trace d'une scene 
melangeant une image video avec une image de synthese. 

Anti-aliasing 

De preference selon l 1 invention, le procede comprend 
l'etape d'appliquer une fonction anti-aliasing lors du trace de 
la scene. Les notions de fonction anti-aliasing ont ete decrites 
ci-apres . 

Transparence 

De preference selon 1 T invention, le procede comprend 
l'etape d'appliquer une fonction transparence lors du trace de 
la scene. Les notions de fonction transparence ont ete decrites 
ci-apres , 
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Correction des distorsions optiques 
De preference selon 1' invention r le precede comprend 
1'etape d'appliquer des deformations non lineaires au buffer 
video en texturant des polygones de la scene au moyen de la 
texture dediee. 

II est ainsi possible de corriger des distorsions 

optiques de 1' image video. 

Traitement temps reel d' images video 

De preference selon 1 1 invention, le procede comprend 
1'etape d'appliquer au buffer video des fonctions pixel shaders 
permettant, notamment, un traitement du type chroma key. Les 
notions de fonction pixel shaders et de traitement de type 
chroma key ont ete decrits ci-apres. 

Environment mapping 

De preference selon l 1 invention, 1' unite de traitement 
informatique comprend deux moyens d' acquisition ayant chacun un 
buffer video. Le procede comprend les etapes suivantes : 

- l'6tape de recopier le buffer video de l'un des 
moyens d' acquisition dans une seconde texture dediee de la carte 
graphique , 

-1'etape de texturer au moins en partie la scene en 
utilisant la seconde texture dediee. 

II est ainsi possible d'obtenir des reflets reels sur 
des objets de s yn these . 

Delai video 

De preference selon l 1 invention, le procede comprend 
1'etape de retarder la recopie d'un des buffer video contenu 
dans une memoire tampon vers la memoire de texture de la carte 
graphique . 

II est ainsi possible de retarder l'affichage des 
images video par rapport a l'affichage des images de syn these . 

Systeme 

L f invention concerne egalement un systeme permettant a 
un utilisateur : 
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(i) de produire dans une unite de traitement 
informatique, composee de circuits electroniques standard, un 
flux d' images de synthese, et 

(ii) de tracer une scene en errant des interactions 
5 visuelles entre le flux d' images de synthese et au moins un flux 

d' images video, 

La solution a ce probleme permet d'ameliorer la 
qualite de la scene et de diminuer le temps de traitement, sans 
mettre en ceuvre des unites de traitement informatique 

10 proprietaires et couteuses . 

L' unite de traitement informatique selon 1' invention 
comprend un equipement informatique, notamment de type 
"ordinateur PC" grand public • Cet equipement informatique 
comporte : 

15 - une carte mere, 

- une carte graphique de rendu et d' affichage de la 

scene . 

La carte graphique de rendu et d r affichage comporte un 
processeur d' acceleration des traitements 2D/3D, un buffer de 
20 travail « back buffer » et une memoire de texture. 

L' equipement informatique comporte un moyen 
d' acquisition permettant d'acquerir, en temps reel, des images 
video, dans un buffer video. Le moyen d' acquisition se presente 
notamment sous la forme : 
25 - d'une acquisition video integree a la carte 

graphique, et/ou 

- d'une acquisition video integree a la carte mere, 

et/ou 

- d'une acquisition video, via une carte d' acquisition 

30 dediee. 

Pour effectuer un rendu specif ique de la scene : 

la carte mere comporte en outre des moyens de 
traitement informatique permettant de recopier, lors de chaque 
rendu de la scene, le buffer video dans une zone memoire de la 
35 carte graphique, 
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- le processeur d' acceleration des traitements 2D/3D 
comporte des moyens de tracpage pour tracer les images de 
synthese dans une zone memoire de la carte graphique. 

Selon une premiere variante de realisation, de 
5 preference selon 1' invention, pour effectuer un rendu specif ique 
de la scene : 

- les moyens de traitement in format ique comprennent 
des premiers moyens de recopie pour recopier, lors de chaque 
rendu de la scene, le buffer video dans le buffer de travail, 

10 - le processeur d' acceleration des traitements 2D/3D 

comprend des premiers moyens de calcul pour tracer les images de 

synthese dans le buffer de travail . 

Dans le cas de cette premiere variante de realisation, 

lorsque le buffer video comporte des lignes video entrelacees, 
15 de preference selon 1 T invention, les premiers moyens de recopie 

du buffer video dans le buffer de travail comprennent : 

- des premiers moyens de selection et de recopie des 
lignes video paires, lors d'un premier rendu, puis 

- des seconds moyens de selection et de recopie des 
20 lignes video impaires, lors du rendu suivant . 

Selon une deuxieme variante de realisation; pour 
effectuer un rendu specif ique, de preference selon l 1 invention, 
les moyens de traitement informatique comprennent des moyens 
d' initialisation creant, prealablement au rendu specif ique, une 

25 texture dediee dans la memoire de texture de la carte graphique. 
La texture dediee a la taille du buffer video. Dans le cas de 
cette deuxieme variante de realisation, les moyens de traitement 
informatique comprennent en outre des seconds moyens de recopie 
pour recopier le buffer video dans la texture dediee, 

30 - le processeur d' acceleration des traitements 2D/3D 

comprend des seconds moyens de calcul pour tracer completement 
la scene, en utilisant la texture dediee pour texturer certains 
des polygones de la scene. 

Dans le cas de cette deuxieme variante de realisation 

35 lorsque le buffer video comporte des lignes video entrelacees, 
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de preference selon I 1 invention, les seconds moyens de recopie 
du buffer video dans la texture dediee comprennent : 

- des troisiemes moyens de selection et de recopie des 
lignes video paires, lors d'un premier rendu, puis 

5 - des quatriemes moyens de selection et de recopie des 

lignes video impaires, lors du rendu suivant. 

Le processeur d' acceleration des traitements 2D/3D 
comprend des troisiemes moyens de calcul pour appliquer une 
translation du buffer video de plus ou moins une demi-ligne dans 
10 le rendu de la scene. 

Cette translation du buffer video est realisee : 

- soit en modifiant les coordonnees de texture de la 
texture dediee, 

- soit en modifiant les coordonnees des polygones 
15 textures par la texture dediee. 

On ameliore ainsi la qualite d' image. 

Dans le cas de la premiere variante de realisation 
comme dans le cas de la deuxieme variante de realisation, il est 
possible de recopier le buffer video de deux manieres 

20 differentes 

Dans le cas de la premiere fagon de proceder, le moyen 
d' acquisition comporte un driver presentant un nouveau buffer 
video pour chaque nouvelle image video- De preference selon 
l f invention, dans le cas de cette premiere fagon de proceder, 

25 les moyens de traitement informatique effectuent le rendu de la 
scene de maniere synchrone avec la presentation de chaque 
nouveau buffer vid6o. 

Dans le cas d'une deuxieme fagon de proceder, le moyen 
d' acquisition comporte un driver presentant un nouveau buffer 

3 0 video pour chaque nouvelle image video. De preference selon 
l 1 invention, dans le cas de cette deuxieme facpon de proceder, 
lesdits moyens de traitement informatique comprennent : 

- des moyens de transfert pour remplir une memoire 
tampon avec chaque nouveau buffer video, en mettant en oeuvre une 

35 unit6 d' execution (« thread ») de capture video, 
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- des troisiemes moyens de recopie pour recopier un 
des buffer video contenu dans ladite memoire tampon vers la 
memoire de texture de la carte graphique. 

Les moyens de traitement inf ormatique effectuent le 
5 rendu de ladite scene de maniere asynchrone par rapport a la 
presentation de chaque nouveau buffer video. 

Le systeme selon 1' invention permet des 
fonctionnalites graphiques ameliorees lors du trace d'une scene 
melangeant une image video avec une image de synthese. 
1 0 Ant i -alias ing 

De preference selon 1' invention, les moyens de 
traitement inf ormatique permettent d'appliquer une fonction 
anti-aliasing lors du trace de la scene. 

Transparence 

15 De preference selon 1 1 invention, les moyens de 

traitement inf ormatique permettent d'appliquer une fonction 
transparence lors du trace de la scene. 

Correction des distorsions optiques 
De preference selon 1 ' invention, les moyens de 
20 traitement inf ormatique permettent d'appliquer des deformations 
non lineaires au buffer video en texturant des polygones de la 
scene au mo yen de la texture dediee. 

II est ainsi possible de corriger des distorsions 
optiques de 1' image video. 
25 Traitement temps reel d' images video 

De preference selon 1 T invention, les moyens de 
traitement inf ormatique permettent d'appliquer au buffer video 
des fonctions pixel shaders permet tant, notamment, un traitement 
du type chroma key. 
30 Environment mapping 

De preference selon l f invention, 1' unite de traitement 
inf ormatique comprend deux moyens d' acquisition ayant chacun un 
buffer video . Les moyens de traitement inf ormatique permettent 
de recopier le buffer vid6o de l'un des moyens d' acquisition 
35 dans une seconde texture dediee de la carte graphique. 
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Le processeur d' acceleration des traitements 2D/3D 
permet de texturer au moins en partie la scene en utilisant la 
seconde texture dediee. 

II est ainsi possible d'obtenir des reflets reels sur 
des objets de synthese. 

Delai video 

De preference selon l f invention,, les moyens de 
traitement informatique permettent de retarder la recopie d'un 
des buffer video contenu dans une memoire tampon vers la m6moire 
de texture de la carte graphique. 

II est ainsi possible de retarder l'affichage des 
images video par rapport a l'affichage des images de synthese. 

Description detaillee 

D'autres caracteristiques et avantages de 1' invention 
apparaitront a la lecture de la description d'une variante de 
realisation de l 1 invention donnee a titre d'exemple indicatif et 
non limitatif , et de la 

- figure 1 qui represente, un equipement selon l'art 
anterieur permettant de faire de la realite amelioree, 

- figure 2 qui represente un schema d' ensemble d'une 
variante de realisation d'un systeme selon 1' invention, 

- figure 3 qui represente, de maniere schematique, les 
moyens de traitement inf ormatique 26 dans le cas d'une autre 
variante de realisation, 

- figure 4 qui represente, de maniere schematique, le 
processeur d' acceleration des traitements 2D/3D 9 dans le cas de 
la variante de realisation representee sur la figure 3, 

- figure 5 qui represente, de maniere schematique, une 
variante de realisation dans le cas ou le moyen d' acquisition 12 
se presente sous la forme d'une acquisition video integree a la 
carte graphique 8, 

- figure 6 qui represente, de maniere schematique, une 
variante de realisation dans le cas ou le moyen d' acquisition 12 
se presente sous la forme d'une acquisition video integree a la 
carte mere 7, 
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- figure 7 qui represente, de maniere schematique, une 
variante de realisation dans le cas ou le moyen d' acquisition 12 
se presente sous la forme d'une acquisition video via une carte 
d' acquisition dediee, 

5 - figure 8 qui represente, de maniere schematique, 

1' algorithme de recopie du buffer video 14 dans le buffer de 
sortie video (back buffer) 40 de la carte graphique, 

- figure 9 qui represente, de maniere schematique , 
1' algorithme de recopie du buffer video 14 dans la memoire de 

10 texture 11 de la carte graphique. 

On a precedemment decrit la figure 1 lors de la 

presentation de l'art anterieur. On va maintenant decrire la 

figure 2 qui represente un schema d' ensemble d'une variante de 

realisation d'un systeme selon 1' invention. 
15 Sur la figure 2 on a represente une unite de 

traitement informatique 2 comprenant : 

- une carte graphique 8, 

- une carte mere 7, 

- des moyens d' acquisition 12 recevant un flux 5 
'20 d' images video 13, 

- un disque dur 42 contenant une scene 4, 
La carte graphique 8 comprend : 

- un processeur d' acceleration des traitements 2D/3D 9 
comprenant des premiers moyens de calcul 29, 

25 - un buffer de travail 10 recevant un flux 3 d' images 

de synthese 16 du processeur d' acceleration des traitements 
2D/3D 9, 

- une memoire de texture 11 comprenant une texture 

dediee 19, 
30 - une sortie video 39, 

- un buffer de sortie video (back buffer) 40, 
La carte mere 7 comprend : 

- des moyens de traitement informatique 26 comprenant 
des premiers moyens de recopie 27 comport ant des premiers moyens 
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de selection et de recopie 30, des seconds mo yens de selection 
et de recopie 31, 

- une memoire cent rale 41 contenant une scene 4 et des 
polygones 20, 

- une memoire tampon 23 comprenant des buffer video 14 
comportant des lignes video paires 17 et des lignes video 
impaires 18, 

- un driver 22, 

- une unite d' execution 24. 

Dans une autre variante de realisation, les moyens de 
traitement inf ormatique 26 comprennent des moyens 
d' initialisation 32, des seconds moyens de recopie 33 comportant 
des troisiemes moyens de selection et de recopie 35, des 
quatri ernes moyens de selection et de recopie 35 (voir figure 3) , 
Dans le cas de cette variante de realisation, le processeur 
d' acceleration des traitements 2D/3D 9 comprend des seconds 
moyens de calcul 34 (voir figure 4) . 

Le moyen d' acquisition 12 numerise le signal video 13 
correspondant aux images video du flux 5 (le signal video peut 
etre a la norme analogique ou numerique) . La carte mere regoit 
ce flux numerise dans un buffer video 14 compose de pixels et 
stocks dans sa memoire. Dans la description, le buffer video 14 
est aussi appele buffer de pixels. 

Une scene 3D 4 est un ensemble d' elements : 

- d'objets 3D composes de textures (image 2D) et de 
polygones 20 (geometrie 3D) . 

- de sources de lumi^res . 

- de cameras virtuelles . 

La scene 3D 4 est stockee sur le disque dur 42 et est 
recopi^e dans la memoire centrale 41 de la carte mere 3 . 

Pour calculer une image de synthase 16, la carte mere 
7 copie le buffer video 14 et les textures de la scene 3D dans 
la memoire de texture 11 de la carte graphique 8 et envoie a 
celle-ci 1' ensemble des polygones 20 a afficher, les sources de 
lumieres, la camera. Les circuits specialises (le processeur 
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d' acceleration des traitements 2D/3D 9) calculent a partir de 
ces donnees 3D une image 2D dans le buffer de travail 10 (back 
buffer) . Le contenu du buffer de travail 10 et ensuite trans fere 
dans le buffer de sortie video 40 (front buffer) et la sortie 
5 vid6o 39 pour etre utilise par le dispositif d' af f ichage 
(television, moniteur, projecteur) pour afficher 1' image. 

Le buffer video 14 est recopie dans la texture dediee 
19 de la memoire de la texture 11. La texture dediee 19 faisant 
partie de la scene, il est possible d' afficher sont contenu en 
10 fonction des besoins de l'utilisateur . On citera, a titre 
d'exemples non exhaustifs, les affichages suivants : 

- Aff ichage de la texture dediee 19 en arriere plan 
pour obtenir une video « plein ecran ». 

- Aff ichage de la texture dediee 19 sur un objet de 
15 synthese inclus dans la scene 4, pour enrichir celui-ci par une 

video en temps reel. 

La texturation est une technique qui consiste a 
dessiner un polygene 20 en 3D avec une texture (image . 2D) 
plaquee dessus. A cet effet, on affecte a chaque sommet 3D d'un 

20 polygone 20 des coordonnees 2D (coordonnees de texture) dans la 
texture. II est possible d'utiliser plusieurs textures sur un 
meme polygone 20. On associe aux sommets un jeu de coordonnees 
de texture pour chaque texture. 

Le texturation peut etre effectuee avec tout type 

25 d' image 2D done avec le buffer video 14 qui est une image 2D. Un 
ensemble de polygones 20, texture avec le buffer video 14, est 
traite comme n'importe quel objet intervenant dans le calcul de 
1' image de synthese 16. 

On va maintenant deer ire la figure 5 qui represente, 

30 de maniere schematique, une variante de realisation dans le cas 
ou le moyen d' acquisition 12 se presente sous la forme d'une 
acquisition video integree a la carte graphique 8. 

L' unite de traitement informatique 2 contient une 
carte graphique 8 equipee d'un moyen d' acquisition 12. L' image 

35 video 13 est acquise en temps reel par le moyen d' acquisition 12 
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puis recopiee dans le buffer video 14 . Le buffer vid6o 14 est 
ensuite recopie de deux manieres possibles : 

- soit vers le buffer de travail 10 , 

- soit vers la memoire de texture 11 . 

5 Apres cette recopie, le processeur d' acceleration des 

traitements 2D/3D 9 effectue un rendu de la scene 4 dans le 
buffer de travail 10. Le buffer de travail 10 est transfere dans 
le buffer de sortie video 40 qui permet de mettre a jour la 
sortie video 39. 

10 On va maintenant deer ire la figure 6 qui representee 

de maniere schematique, une variante de realisation dans le cas 
ou le moyen d' acquisition 12 se presente sous la forme d'une 
acquisition video integree a la carte mere 7. 

1/ unite de traitement informatique 2 contient une 

15 carte mere 7 equipee d'un moyen d' acquisition 12. L' unite de 
traitement inf ormatique 2 contient egalement une carte graphique 
8 . 1/ image video 13 est acquise en temps reel par le moyen 
d' acquisition 12 puis recopiee dans le buffer video 14. Le 
buffer video 14 est ensuite recopie de deux manieres possibles : 

20 - soit vers le buffer de travail 10, 

- soit vers la memoire de texture 11. 

Apres cette recopie, le processeur d' acceleration des 
traitements 2D/3D 9 effectue un rendu de la scene 4 dans le 
buffer de travail 10. Le buffer de travail 10 est transfere dans 
25 le buffer de sortie video 40 qui permet de mettre a jour la 
sortie video 39. 

On va maintenant decrire la figure 7 qui represente, 
de maniere schematique, une variante de realisation dans le cas 
ou le moyen d' acquisition 12 se presente sous la forme d'une 
30 acquisition video via une carte d' acquisition dediee. 

L' unite de traitement informatique 2 contient un moyen 
d' acquisition 12 sous la forme d'une carte d' acquisition 
branchee a la carte mere 7 (par exemple une carte PCTV de marque 
Pinnacle ™) . L' unite de traitement informatique 2 contient 
35 Egalement une carte graphique 8. L' image video 13 est acquise en 
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temps reel par le moyen d' acquisition 12 puis recopiee dans le 
buffer video 14. Le buffer video 14 est ensuite recopie de deux 
manieres possibles : 

- soit vers le buffer de travail 10 , 
5 - soit vers la m^moire de texture 11. 

Apres cette recopie, le processeur d' acceleration des 
traitements 2D/3D 9 de la carte graphique effectue un rendu de 
la scene 4 dans le buffer de travail 10. Le buffer de travail 10 
est transf6r6 dans le buffer de sortie vid6o 40 qui permet de 
10 mettre a jour la sortie video 39. 

On va main tenant decrire la figure 8 qui representee 
de maniere schematique sous forme de blocs, l'algorithme de 
recopie du buffer vid6o 14 dans le buffer de sortie vid6o (back 
buffer) 40 de la carte graphique. Les blocs ont la signification 
1 5 suivante : 

Bloc 48 : 
DEPART . 
Bloc 50 : 

Initialisation du moyen d' acquisition 12, : 
-20 Passage en mode acquisition. 

Definition de 1' entree video (ex : Svideo/PAL/NTSC) . 
Demarrage de l r acquisition video. 
Bloc 52 : 

Initialisation du processeur d' acceleration des 
25 traitements 2D/3D 9 : 

Definition du type de sortie (ex : sortie VGAou Pal ou 
NTSC ou DVI) . 

Definition du mode graphique (plein ecran ou fenetre) . 
Definition de la Resolution graphique (ex : 800 par 
30 600 en 32bits par pixel) . 

Definition du mode Zbuffer (init. Acceleration 3D) . 
Passage en mode double buffer (creation du buffer de 
sortie video 40 et du buffer de travail 10.) 
Bloc 54 : 

35 Chargement de la scene 4 : 
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Chargement de tous les modeles 3D a partir du disque 

dur 42. 

Bloc 56 : 
RAZ du Zbuffer. 
5 RAZ du buffer de travail 10 (optionnel) . 

Bloc 58 : 

Copie du buffer video 14 en provenance du moyen 
d' acquisition 12 dans le buffer de travail 10. 
Bloc 60 : 

10 Trace de la scene 4 dans le buffer de travail 10 

effectue par le processeur d' acceleration des traitements 2D/3D 
9 

Mise a jour du buffer de sortie video 40 
Bloc 62 : 
15 Fin Programme ? 

Bloc 64 : 
FIN. 

On va maintenant decrire la figure 9 qui represente, 
de maniere schematique sous forme de blocs, 1' algorithme de 
20 recopie du buffer video 14 dans la memoire de texture 11 de la 
carte graphique. 

Les blocs ont la signification suivante : 

Bloc 66 : 

DEPART . 
25 Bloc 68 : 

Initialisation du moyen d' acquisition 12 : 

Passage en- mode acquisition 

Definition de 1' entree video (ex : Svideo/PAL/NTSC) . 

Demarrage de 1' acquisition video 
30 Bloc 70 : 

Initialisation du processeur d' acceleration des 
traitements 2D/3D 9, 

Definition du type de sortie (ex : sortie VGA ou Pal 
ou NTSC ou DVI) . 

35 Definition du mode graphique (plein ecran ou fenetre) . 
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Definition de la Resolution graphique (ex : 800 par 
600 en 32bits par pixel) . 



Definition du mode Zbuffer (init. Acceleration 3D) . 
Passage en mode double buffer (creation du buffer de 



sortie vid6o 40 et du buffer de travail 10) . 

Initialisation de la texture dediee 19 (creation de la 
texture dediee 19 dans la memoire de texture 11, la texture 
dediee 19 au meme nombre de lignes et de colonnes que le buffer 
vid6o 14 de capture video) 



Bloc 72 : 

Chargement de la scene 4, 

Chargement de tous les modeles 3D a partir du disque 



Bloc 74 : 

RAZ du Zbuffer, 

RAZ du buffer de travail (10) (optionnel) . 
Bloc 76 : 

Copie du buffer video 14 en provenance du moyen 



d' acquisition 12 dans la texture dediee 19 incluse dans la 
memoire de texture 11 



Bloc 78 : 

Trace de la scene 4 dans le buffer de travail 10, 
Exploitation des textures, y compris celles qui 



proviennent de 1' acquisition video selon toutes les utilisations 
qui peuvept etre faites d' une texture (ex : environnement 
mapping, trace dans le buffer de travail 10 comme fond d'ecran, 
texturation d'objets de synthase) . 



Mise a jour du buffer de sortie video 40 ; 

Bloc 80 : 

Fin programme? 

Bloc 82 : 

FIN. 

Description de 1' anti-aliasing : 



dur 42. 
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1/ anti-aliasing est 1' operation de filtrage qui permet 
d'attenuer les marches d'escalier sur les bords des polygones 20 
dues a la resolution de calcul finie de 1' image de synthese 16. 

Lorsque l'on applique 1' anti-aliasing, la couleur des 
pixels sur les bords de l'objet en avant-plan est obtenue par 
une operation de filtrage entre les pixels de l'objet en arriere 
plan et les pixels de l'objet en avant-plan. 

1/ invention permet de traiter un objet texture avec de 
la video comme un element de meme nature que les autres objets 
de synthese : les f onctions d' anti-aliasing s ' appliquent done 
pour le trace de la scene totale. 

Description des effets de transparence : 
Les objets de synthese peuvent contenir des surfaces 
transparentes . Si un tel objet est en avant-plan par rapport a 
un objet en arriere plan texture avec une video, l'objet video 
texture sera vu au travers de ces surfaces . 

Description des deformations non lineaires : 
Le proc6d6 permet d'appliquer des deformations non 
lineaires a la video, puisque celle-ci est stockee dans une 
texture mappee sur des polygenes 20. II est, notamment, ainsi 
possible de distordre en temps reel 1' image video pour corriger 
les distorsions optiques de la camera video. Les lignes aux 
. bords de l r image qui apparaissent courbes peuvent etre ainsi 
redressees en etirant la texture video 

A cet effet, on cree un maillage regulier de polygones 
20 sur lequel on plaque une texture video avec des coordonnees 
de textures qui decrivent une courbe lorsque les coordonnees des 
sommets associes evoluent lineairement . 

Description des traitements « pixels shaders » et 
notamment sur le « chroma key » 

La couleur finale d'un pixel est une combinaison entre 
la couleur de ce meme pixel pour le polygone 20 en cours de 
trace et la couleur pour les polygones 20 deja traces. La 
couleur d'un pixel d'un polygone est une combinaison entre la 
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valeur de ce pixel dans la ou les textures associees a ces 
polygones et 1' eclairement du polygone. 

Les cartes graphiques 8 actuelles utilisent un 
programme (pixel shader) pour effectuer cette combinaison. Ce 
5 programme est trans fere dans la carte graphique 8 cornme les 
autres objets 3D. 

Le procede selon 1' invention permet d'appliquer les 
f onctionnalites, connues en soi, du type « pixel shaders » sur 
1' image video. Cela permet notamment de mettre en oeuvre des 
10 algorithmes du type « chroma-key » sur le buffer video 14 ou 
d' autres traitements d' images. 

Le principe du chroma-key consiste a remplacer dans 
une image tous les points d'une couleur donnee par les points 
d'une autre source video. On nomme parfois cette technique, 
15 1' « ecran bleu ». On a decrit ci-apres un algorithme simple de 
chroma -key. Pour chaque pixel de la video : 

- on calcule sa couleur dans 1'espace YUV, 

- on calcule la distance de cette couleur par rapport 
a une couleur de reference en ignorant la coordonnee Y (la 

20 luminance) , 

- si la distance est inferieure a un seuil 
predetermine, on rend le pixel transparent , sinon il est affiche 
normal ement . 

Description de 1 r environnement mapping 
25 L' environnement mapping est une technique qui simule 

des surfaces ref lechissantes sans utiliser le ray-tracing 
(inutilisable en temps reel) . La technique applique une texture 
speciale qui contient une image de la scene qui entoure l'objet 
sur l'objet lui-meme. Le resultat obtenu est une approximation 
. 30 de l'apparence d'une surface reflechissante, sans demander une 
puissance de calcul trop importante. 

Le procede selon 1' invention, generalise a 
1' utilisation de deux moyens d' acquisition 12 (deux cartes 
d' acquisition) , permet d' utiliser un des deux moyens 
35 d 7 acquisition 12 (une des deux cartes d' acquisition) pour 
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recopier le « buffer video » 14 associe a cette carte dans la 
memoire d'une texture 11 qui servira de mapping d f environnement 
lors du trace des objets de la sc£ne textures avec cette 
texture- Cela pemaet notamment d' obtenir des reflets reels sur 
5 ces objets de synthese. 

L' autre carte d' acquisition est utilisee pour recopier 
son buffer video 14 dans la memoire d'une texture affichee en 
arriere plan des objets de synthese sur lesquels on a les 
reflets . 

10 Description d'une memoire tampon 23 

La methode de la memoire tampon permet de retarder 
l'affichage des images video. 

N images video sont stockees en memoire . 

La methode de la memoire tampon permet de retarder 

15 l f affichage des images video. La memoire tampon 23 fonctionne 
selon le principe suivant : la memoire tampon 23 peut stocker N 
buffers video 14. Ces buffers video 14 correspondent aux images 
video 13 acquises par le moyen d f acquisition 12 lors des cycles 
N, (N-l) , (N-2) , (N-3), etc... . Lors du cycle N, le procede 

20 peut decider d'utiliser le buffer video 14 acquis au cycle (N- 
2), ce qui entraine dans ce cas un retard des images video 
affichees par la sortie video 39 de 3 cycles. Dans le cas 
general, grace a ce procede, on peut introduire jusqu'a N images 
de retard. 

25 Avantages de la solution revendiquee par rapport a 

l r art anterieur : 

On va maintenant exposer les avantages du procede et 
du systeme selon 1' invention par rapport a l'art anterieur : 

Le procede et le systeme selon 1' invention 
30 permettent une amelioration de la qualite des images : nornbre de 
polygones, ombrage, texturation, transparence, reflexions, anti- 
aliasing. 

- Le precede et le systeme selon 1' invention 
permettent de realiser en temps reel des effets de video 
35 texturation, c' est-a-dire la texturation d' objets de synthese, 
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non pas avec une simple image statique, mais avec une video 
« live ». 

Le procede et le syst&me selon 1' invention 
pennettent de realiser en temps reel des effets d' « environment 
5 mapping » dynamique, c'est-£-dire la possibility d'entourer les 
objets de synthese d'une carte d' environnement non pas statique, 
mais qui est la video elle meme. Cela ouvre la porte a des 
effets surprenants, en particuliers lorsque les objets de 
synthase ont une surface r6f 16chissante comme un miroir. 

10 Le procede et le systeme selon 1' invention 

permettent de realiser tout ce qu' il est possible de faire 
classiquement avec des textures statiques mais maintenant avec 
une ou plusieurs sources video « live ». 

Le procede et le systeme selon 1' invention 

15 permettent d'effectuer un traitement des images video par la 
technologie des pixels shaders (notamment traitement du type 
« chroma key ») . 

Le procede et le systeme selon 1' invention 
permettent de retarder des images video sans rack externe. 

20 - Le procede et le systeme selon 1' invention 

permettent une diminution du temps de reponse du systeme car 
tous les traitements sont internes ct la m§me machine (on ne 
cumule pas les temps de traitements de plusieurs unites de 
traitement comme dans I'art anterieur) . 

25 - Le procede et le systeme selon 1' invention 

permettent 1' utilisation de materiels produits en grande 
quantite ayant un faible cout de revient. 

Le procede et le systeme selon 1' invention ne 
necessitent pas de developpements electroniques (hardware) 

30 proprietaire : il permettent utilisation de materiel standard 
« sur etagere » : il permettent une maintenance facilitee 
(cartes mere de technologie PC grand public, cartes graphiques 
grand public, cartes d' acquisition video grand public) . 
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- Le procede et le systeme selon 1' invention peuvent 
fonctionner avec un ordinateur unique (boitier PC standard, 
ordinateur portable, rack PC industriel) . 

- Le procede et le systeme selon 1' invention peuvent 
5 fonctionner en temps reel : les images video sont gen6r£es 

directement. II est ainsi possible de pour supprimer les couts 
de post-production (pas de temps de calcul de plusieurs heures 
pour quelques secondes d' images video) . 

- Le procede et le systeme selon 1' invention peuvent 
10 etre embarquees. Le procede et le systeme selon 1' invention 

peuvent fonctionner sur des cartes PC industrielles compactes 
(domaines militaires ou navigation ou zones a risques) . 

- Le procede et le systeme selon 1' invention peuvent 
fonctionner sur du materiel durci (pour Industrie / militaire) . 

15 " Le procede et le systeme selon 1' invention peuvent 

suivent 1' evolution des performances des cartes graphiques 
acceleratrices avec un faible effort de mise a jour du 
logiciel : utilisation de librairies graphiques standard 
(DirectX ou OpenGL) . 

20 - Le procede et le systeme selon 1' invention peuvent 

etre facilement deplacee (mobilite) avec une mise en oeuvre 
rapide sur le lieu d' utilisation . 

- Le procede et le systeme selon 1' invention peuvent 
fonctionner sur un ordinateur portable equipe d'une entree video 

25 (ex : entree DV) . 

Applications industrielles et commerciales du procede 
et du systeme selon 1' invention. 

Applications industrielles dans le domaine de 
1' audiovisuel (cinema / video) . 
30 Le procede et le systeme selon 1' invention peuvent 

notamment etre utilises pour les productions audiovisuelles 
tournees en direct ou dans les conditions du direct : 

Plateaux virtuels temps reel (affichage de 
presentateurs dans un decors virtuel) . 
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Effets speciaux temps reel (ex : particules, 
explosions, deformations temps reel) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises dans le domaine de la publicity (ex : 
produits virtuels dans decors reels) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises pour proceder a des ajouts d'objets 
virtuels dans une emission de television et pour realiser des 
interactions avec un' presentateur reel (talkshows, evenements 
sportifs, teleachat, informations, meteo, emissions medicales) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises pour realiser des avatars : personnages 
virtuels incrustes en temps reel dans des decors reels. 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises pour realiser des pre visualisations 
temps reel pour le cinema (controle des effets speciaux sur le 
lieu de tournage) . 

Appll cations Indus trielles dans le domaine Industrlel 
Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises dans le domaine de fabrication 
(enrichissement d' images reelles pour guider les operations 
manuelles et informer le constructeur lors de la fabrication) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises dans le domaine de la maintenance 
(enrichissement d' images reelles avec des informations 
supplementaires pour optimiser les cots de maintenance, guide 
temps reel pour le depannage) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises dans le domaine militaire (cibles 
virtuelles, menace virtuelle, explosions, fantassins, 
vehicules) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises- dans le domaine des simulations 
(phenomenes atmospheriques ou environnementaux simules mixes 
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avec des decors reels, tests de prototypes virtuels, vehicules 
virtuels) . 

Le procede et le systeme selon 1' invention peuvent 
notaimnent etre utilises dans le domaine des jeux video (joueurs 
reels visualises dans un jeu video, ou elements virtuels tels 
que personnages, vehicules integres dans des images reelles) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises : 

- dans le domaine de 1' automobile (voitures virtuelles 
sur- routes reelles) . 

- dans le domaine du Prototypage (visualisation de 
prototypes virtuels dans des decors reels) . 

- dans le domaine de 1' architecture (visualisation de 
batiments virtuels dans des paysage reels) . 

- dans le domaine du guidage temps reel : affichage 
d' informations pour diriger un pilote ou un conducteur. 

Applications dans le domaine du marketing on de la 
communication 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises pour effectuer des etudes de marches : 
affichage de produits non encore reellement realises dans des 
situations reelles (ex : nouveau mobile GSM, nouvelle voiture) . 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises pour realiser des images interactives 
dans boutiques ou des centres commerciaux. 

Applications industrielles dans le domaine des 
technologies de 1' information 

Le procede et le systeme selon 1' invention peuvent 
notamment etre utilises pour des visioconferences : visiophone 
avec possibility d'inserer et d'interagir avec des objets 
virtuels . 

Applications industrielles dans le domaine des loisirs 

Le procede et le systeme selon 1' invention peuvent 
notamment ' etre utilises dans des pares d' attractions : 
animations visuelles temps reelles (ex : miroir s interactifs) . 
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REVENDICATIONS 

1. Procede permettant a un utilisateur : 

(i) de produire dans une unite de traitement 
informatique (2) , composee de circuits electroniques standard, 
un flux d' images de synthese (3), et 

(ii) de tracer une scene (4) en creant des 
interactions visuelles entre ledit flux d' images de synthese (3) 
et au moins un flux d' images video (5), 

de maniere a ameliorer la qualite de la scene (4) et 
diminuer le temps de traitement, sans mettre en oeuvre des unites 
de traitement informatique (2) proprietaires couteuses / 

ladite unite de traitement informatique (2) , notamment 
de type "ordinateur PC" grand public, comprenant : 

- une carte m£re ( 7 ) , 

- une carte graphique (8) de rendu et d'affichage de 
ladite scene (4), comportant un processeur d' acceleration des 
traitements 2D/3D (9), un buffer de travail (10) (« back 
buffer »)-et une memoire de texture (11), 

- un moyen d' acquisition (12) permettant d'acquerir, 
en temps reel, des images video (13), dans un buffer video 
(14) ; ledit moyen d' acquisition (12) se presentant notamment 
sous la forme : 

* d'une acquisition video integree a ladite carte 
graphique (8), et/ou 

* d'une acquisition video integree a ladite carte mere 
(7), et/ou 

* d'une acquisition video, via une carte d' acquisition 

dediee ; 

ledit procede comprenant l'etape d'effectuer un rendu 
specif ique de ladite scene (4), 

- en recopiant, lors de chaque rendu de ladite scene 
(4), ledit buffer video (14) dans une zone memoire (10, 11) de 
la carte graphique (8) , 

- en tracant lesdites images de synthese (16) dans 
ledit buffer de travail (10) de la carte graphique (8) . 



WO 2004/012445 




T/FR2003/050019 



2. Procede selon la revendication 1 ; pour effectuer 
un rendu specifique ledit procede comprenant les etapes 
suivantes : 

- l'etape de recopier, lors de chaque rendu de ladite 
scene (4), ledit buffer video (14) dans ledit buffer de travail 
(10), 

- l'etape de tracer lesdites images de synthese (16) 
dans ledit buffer de travail (10) . 

3. Procede selon la revendication 2 ; ledit buffer 
video (14) comportant des lignes video entrelacees ; pour 
recopier, lors de chaque rendu de ladite scene (4) , ledit buffer 
video (14) dans ledit buffer de travail (10), ledit procede 
comprenant : 

- l'etape de recopier lesdites lignes video paires 

(17) , lors d'un premier rendu, puis 

- l'etape de recopier lesdites lignes video impaires 

(18) , lors du rendu suivant. 

4. Procede selon la revendication 1 ; pour effectuer 
un rendu specifique ledit procede comprenant : 

l'etape d' initialiser prealablement au rendu 
specifique en creant une texture dediee (19) dans ladite memoire 
de texture (11) de ladite carte graphique (8) / ladite texture 
dediee (19) ayant la taille dudit buffer video (14) ; ladite 
texture dediee (19) etant dediee pour recopier ledit buffer 
video (14) dans ladite memoire de texture (11) ; 
ledit procede comprenant en outre : 

- l'etape de recopier ledit buffer video (14) dans 
ladite texture dediee (19), 

- l'etape de tracer completement ladite scene (4), en 
utilisant ladite texture dediee (19) pour texturer certains des 
polygones (20) de ladite scene (4) . 

5. Procede selon la revendication 4 ; ledit buffer 
video (14) comportant des lignes video entrelacees ; pour 
recopier, lors de chaque rendu de ladite scene (4), dans ladite 
texture dediee (19) ledit procede comprenant : 
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- l'etape de recopier lesdites lignes video paires 

(17) , lors d'un premier rendu, puis 

- l'etape de recopier lesdites lignes video impaires 

(18) , lors du rendu suivant, 

- l'etape d'appliquer une translation du buffer video 
(14) de plus ou moins une demi-ligne dans le rendu de ladite 
sc£ne (4) : 

* soit en modifiant les coordonnees de texture de la 
texture dediee (19) , 

* soit en modifiant les coordonnees des polygones (20) 
textures par la texture dediee (19) ; 

(de sorte que l'on ameliore ainsi la qualite d' image) . 

6. Procede selon l'une quelconque des revendications 1 
a 5- ; ledit moyen d' acquisition (12) comportant un driver (22) 
presentant un nouveau buffer video (14) pour chaque nouvelle 
image video ; le rendu de ladite scene (4) etant effectue de 
maniere synchrone avec la presentation de chaque nouveau buffer 
video (14) . 

7. Procede selon l'une quelconque des revendications 1 
a 5 ; ledit moyen d' acquisition (12) comportant un driver (22) 
presentant un nouveau buffer video (14) pour chaque nouvelle 
image video ; ledit procede comprenant les etapes suivant es : 

l'etape de remplir une memoire tampon (23) avec 
chaque nouveau buffer video, en mettant en ceuvre une unite 
d' execution (24) (« thread ») de capture video, 

- l'etape de recopier un des buffer video (14) contenu 
dans ladite memoire tampon (23) vers ladite memoire de texture 
(11) de la carte graphique (8), 

- l'etape d'effectuer le rendu de ladite scene (4) de 
maniere asynchrone par rapport a la presentation de chaque 
nouveau buffer video (14) . 

8. Procede selon l'une quelconque des revendications 1 
a 7 ; ledit procede comprenant l'etape d'appliquer une fonction 
anti-aliasing lors du trace de ladite scene (4) . 
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9. Procede selon l'une quelconque des revendi cations 1 
a 8 ; ledit procede comprenant l'etape d'appliquer une fonction 
transparence lors du trace de ladite scene (4) . 

10. Procede selon l'une quelconque des revendi cations 
1 a 9 ; ledit procede comprenant l'etape d'appliquer des 
deformations non lineaires au buffer video (14) en texturant des 
polygones (20) de ladite scene (4) au moyen de ladite texture 
dediee (19) ; 

(de sorte qu'il est ainsi possible de corriger des 
distorsions optiques de 1' image video) . 

11. Procede selon l'une quelconque des revendications 
1 a 10 ; ledit procede comprenant l'etape d'appliquer au buffer 
video (14) des fonctions pixel shaders permettant, notamment, un 
traitement du type chroma key. 

12. Procede selon l'une quelconque des revendications 
1 a 11 ; ladite unite de traitement informatique (2) comprenant 
deux moyens d' acquisition (12) ayant chacun un buffer video 
(14) / ledit procede comprenant les etapes suivantes : 

- l'etape de recopier le buffer video (14) de l'un 
desdits moyens d' acquisition (12) dans une seconde texture 
dediee de la carte graphique (8), 

-l'etape de texturer au moins en partie ladite scene 
(4) en utilisant ladite seconde texture dediee; 

(de sorte qu'il est ainsi possible d'obtenir des 
reflets reels sur des objets de synthese.) 

13. Procede selon l'une quelconque des revendications 
1 a 12 ; ledit procede comprenant : 

- l'etape de retarder la recopie d'un des buffer video 
(14) contenu dans une memoire tampon (23) vers ladite memoire de 
texture (11) de la carte graphique (8) ; 

(de sorte qu'il est ainsi possible de retarder 
l'affichage des images video (13) par rapport a l'affichage des 
images de synthese (16) ) . 
Systeme 

14. Systeme permettant a un utilisateur : 
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(i) de produire dans une unite de traitement 
informatique (2) , composee de circuits electroniques standard, 
un flux d' images de synthese (3), et 

(ii) de tracer une scene (4) en creant des 
interactions visuelles entre ledit flux d' images de synthese (3) 
et au moins un flux d' images video (5), 

de maniere a ameliorer la qualite de la scene (4) et 
diminuer le temps de traitement, sans mettre en ceuvre des unites 
de traitement informatique proprietaires couteuses / 

ladite unite de traitement informatique (2) , notamment 
de type "ordinateur PC" grand public, comportant : 

- une carte mere (7), 

- une carte graphique (8) de rendu et d'affichage de 
ladite scene (4), comportant un processeur d' acceleration des 
traitements 2D/3D (9), un buffer de travail (10) (« back 
buffer ») et une memoire de texture (11) , 

- un moyen d' acquisition (12) permettant d'acquerir, 
en temps reel, des images video (13) , dans un buffer video 
(14) ; ledit moyen d' acquisition (12) se presentant notamment 
sous la forme : 

* d'une acquisition video integree a ladite carte 
graphique (8) , et/ou 

* d'une acquisition video integree a ladite carte mere 
(7), et/ou 

* d'une acquisition video, via une carte d' acquisition 

dediee ; 

pour effectuer un rendu specif ique de ladite scene 

(4) : 

- ladite carte mere (7) comportant en outre des moyens 
de traitement informatique (26) permettant de recopier, lors de 
chaque rendu de ladite scene (4), ledit buffer video (14) dans 
une zone memoire (15) de ladite carte graphique (8), 

- ledit processeur d' acceleration des traitements 
2D/3D (9) comportant des moyens de tracage pour tracer lesdites 
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images de synthese (16) dans une zone memoire (15) de ladite 
carte graphique (8) . 

15. Systeme selon la revendication 14 ; pour effectuer 
un rendu specif ique : 

- lesdits moyens de traiternent infonnatique (26) 
comprenant des premiers moyens de recopie (27) pour recopier, 
lors de chaque rendu de ladite scene (4) , ledit buffer video 
(14) dans ledit buffer de travail (10), 

- ledit processeur d' acceleration des traitements 
2D/3D (9) comportant des premiers moyens de calcul (29) pour 
tracer lesdites images de synthese (16) dans ledit buffer de 
travail (10) . 

16. Systeme selon la revendication 15 ; ledit buffer 
video (14) comportant des lignes video entrelacees ; lesdits 
premiers moyens de recopie (27) dudit buffer video (14) dans 
ledit buffer de travail (10) comprenant : 

- des premiers moyens de selection et de recopie (30) 
desdites lignes video paires (17), lors d'un premier rendu, puis 

- des seconds moyens de selection et de recopie (31) 
desdites lignes video impaires (18), lors du rendu suivant. 

17. Systeme selon la revendication 14 ; pour effectuer 
un rendu specif ique lesdits moyens de traiternent informatique 

(26) comprenant des moyens d' initialisation (32) creant, 
prealablement au rendu specif ique, une texture dediee (19) dans 
ladite memoire de texture (11) de ladite carte graphique (8) ; 
ladite texture dediee (19) ayant la taille dudit buffer video 

(14) ; 

pour effectuer un rendu specifique lesdits moyens de 
traiternent informatique (26) comprenant en outre des seconds 
moyens de recopie (33) pour recopier ledit buffer video (14) 
dans ladite texture dediee (19) ; 

pour effectuer un rendu specifique ledit processeur 
d' acceleration des traitements 2D/3D (9) comportant des seconds 
moyens de calcul (34) pour tracer completement ladite scene (4), 
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en utilisant ladite texture dediee (19) pour texturer certains 
des polygones (20) de ladite scene (4) . 

18. Systerae selon la revendication 17 ; ledit buffer 
video (14) comportant des lignes video entrelacees ; lesdits 
seconds moyens de recopie (33) dudit buffer video (14) dans 
ladite texture dediee (19) comprenant : 

- des troisieme moyens de selection et de recopie (35) 
desdites lignes video paires (17), lors d'un premier rendu, puis 

- des quatrieme moyens de selection et de recopie (36) 
desdites lignes video impaires (18) , lors du rendu suivant, 

- des troisieme moyens de calcul (37) pour appliquer 
une translation (21) du buffer video (14) de plus ou moins une 
demi-ligne dans le rendu de ladite. scene (4) : 

* soit en modifiant les coordonnees de texture de 
ladite texture dediee (19) , 

* soit en modifiant les coordonnees des polygones (20) 
textures par ladite texture dediee (19) ; 

(de sorte que l'on ameliore ainsi la qualite d' image) . 

19. Systeme selon l'une guelconque des revendi cations 
14 a 18 ; ledit moyen d' acquisition (12) comportant un driver 

(22) presentant un nouveau buffer video (14) pour chaque 
nouvelle image video ; lesdits moyens de traitement informatigue 

(26) effectuant le rendu de ladite scene (4) de maniere 
synchrone avec la presentation de chaque nouveau buffer video 

(14) . 

20. Systeme selon l'une guelconque des revendications 
14 a 18 ; ledit moyen d' acquisition (12) comportant un driver 
(22) presentant un nouveau buffer video (14) pour chaque 
nouvelle image video ; lesdits moyens de traitement informatigue 
(26) comprenant : 

- des moyens de transfert pour remplir une memoire 
tampon (23) avec chague nouveau buffer video (14), en mettant en 
oeuvre une unite d' execution (24) (« thread ») de capture video, 
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- des troisiemes moyens de recopie pour recopier (38) 
un des buffer video (14) contenu dans ladite memoire tampon (23) 
vers ladite memoire de texture (11) de la carte graphique (8) ; 

lesdits moyens de traitement informatique (26) 
effectuant le rendu de ladite scene (4) de maniere asynchrone 
par rapport a la presentation de chaque nouveau buffer video 
(14) . 

21. Systeme selon l'une quelconque des revendications 
14 a 20 / lesdits moyens de traitement informatique (26) 
permettant d'appliquer une fonction anti-aliasing lors du trace 
de ladite scene (4) . 

22. Systeme selon l'une quelconque des revendications 
14 a 21 / lesdits moyens de traitement informatique (26) 
permettant d'appliquer une fonction transparence lors du trace 
de ladite scene (4) . 

23. Systeme selon l'une quelconque des revendications 
14 a 22 ; lesdits moyens de traitement informatique (26) 
permettant d'appliquer des deformations non lineaires au buffer 
video (14) en texturant des polygones (20) de ladite scene (4) 
au moyen de ladite texture dediee (19) ; 

(de sorte qu'il est ainsi possible de corriger des 
distorsions optiques de 1' image video) . 

24. Systeme selon l'une quelconque des revendications 
14 a 23 ; lesdits moyens de traitement informatique (26) 
permettant d'appliquer au buffer video (14) des fonctions pixel 
shaders permettant, notamment, un traitement du type chroma key. 

25. Systeme selon l'une quelconque des revendications 
14 a 24 ; ladite unite de traitement informatique (2) comprenant 
deux moyens d' acquisition ayant chacun un buffer video (14) ; 
lesdits moyens de traitement informatique (26) permettant de 
recopier le buffer video (14) de l'un desdits moyens 
d' acquisition dans une seconde texture dediee de la carte 
graphique (8) , 
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ledit processeur d' acceleration de traitement 2D/3D 
(9) permettant de texturer au moins en partie ladite scene (4) 
en utilisant ladite seconde texture dediee ; 

(de sorte qu'il est ainsi possible d'obtenir des 
reflets reels sur des objets de synthese.) 

26. Systeme selon l'une quelconque des revendications 
14 a 25 ; lesdits moyens de traitement informatique (26) 
permettant de retarder la recopie d'un des buffer video (14) 
contenu dans une memoire tampon (23) vers ladite memoire de 
texture (151) de la carte graphique (8) ; 

(de sorte qu'il est ainsi possible de retarder 
l'affichage des images video (13) par rapport a l'affichage des 
images de synthese (16) ) . 
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(57) Abstract: The invention concerns a method and a system for: 
(i) producing in a computer processing unit (2) a flow of synthetic 
images (3), and (ii) tracing a scene (4) by creating visual interac- 
tions between the synthetic image flow (3) and at least one video 
image flow (5).The computer processing unit (2) comprises: a moth- 
erboard (7), a graphics board (8) for scene rendering and display (4), 
including a processor for accelerating 2D/3D processing (9), a work 
buffer (10) and a texture memory (1 1), an acquisition means (12) for 
acquiring in real time video images (13), in a video buffer (14). The 
specific rendering of the scene (4) is carried out: by recopying the 
video buffer (14) in a memory zone (10, 11) of the graphics board 
(8), by tracing the synthetic images (16) in the work buffer (10). 

(57) Abrege : La pnSsente invention concerne un precede et ur sys- 
teme permettant : (i) de produire dans une unite de traitement infor- 
matique (2) un flux d' images de synthese (3), et (ii) de tracer une 
scene (4) en creant des interactions visuelles entre le flux d' images 
de synthese (3) et moins un flux d'images video (5). L'unitS de trai- 
tement informatique (2) comprend : une carte mere (7), une carte 
graphique (8) de rendu et d'affichage de scene (4), comportant un 
processeur d' acceleration des traitements 2D/3D (9), un buffer de 
travail (10) et une mSmoire texture (11), un moyen d'acquisition 
(12) permettant d'acquerir, en temps reel, des images video (13), 
dans un buffer video (14). Le rendu spScifique de la scene (4) est 
effectue : en recopiant le buffer video (14) dans une zone m£moire 
(10, 1 1) de la carte graphique (8), en tracant les images de synthese 
(16) dans le buffer de travail (10). 
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